Được sự vận động của cán bộ Việt Minh, tháng 7 năm 1945 ông tham gia Đoàn Thanh niên Cứu quốc Hà Nội. Khi Cách mạng tháng Tám nổ ra, ông tham gia Cứu quốc quân Hà Nội và lấy tên mới là Hoàng Cầm theo phong trào đổi tên mới để bước vào cuộc đời mới bấy giờ. Theo bài trả lời phỏng vấn của nhà báo Phan Hoàng (tạp chí Kiến thức ngày nay) thì do không đi học và mù chữ, ông chỉ dự định "tham gia quân đội một thời gian rồi quay về quê kiếm vốn buôn bán làm ăn".

Từ năm 1946 đến năm 1949, ông làm cán bộ chỉ huy từ cấp tiểu đội đến đại đội ở Trung đoàn 148, tham gia mặt trận Sơn La. Theo phong trào xóa mù chữ và yêu cầu bắt buộc đối với cấp chỉ huy, ông bắt đầu tham gia lớp học bình dân học vụ. Năm 1947, ông bị thương trong một trận đánh ở Đà Bắc và kể từ đó ông viết bằng tay trái.

Năm 1949, ông được điều về Trung đoàn 209 (còn có tên Trung đoàn Sông Lô, một trong những trung đoàn Chủ lực đầu tiên của Quân đội Nhân dân Việt Nam), làm tiểu đoàn phó, rồi tiểu đoàn trưởng, tham gia trận đánh Đông Khê trong Chiến dịch Biên giới 1950. Trong trận Điện Biên Phủ, ông là trung đoàn trưởng Trung đoàn 209, chỉ huy đánh chiếm sở chỉ huy cứ điểm Điện Biên Phủ.